Năm 1954, sau khi hòa bình lập lại, được sự giới thiệu của một số tri thức (bạn học cũ ở Pháp), ông và em trai Phạm Huy Kỳ được mời về dạy khóa đầu tiên cho Trường Nghệ thuật Quân đội. Các học viên cello đầu tiên của trường như Lê Đãn, Tiến Liêu, Giang Minh Thực, Nguyễn Cửu Vỹ… đều là học trò của ông.[1]

Năm 1956, Trường Âm nhạc Việt Nam thành lập, cùng với Tạ Tấn, Thái Thị Liên, Phạm Huy Kỳ, ông trở thành một trong số những giảng viên đầu tiên của trường[1]. Hầu hết các nhạc sĩ Cello như Hữu Xuân, Nguyễn Văn Đoán, Hoàng Đức Hiệp, Vũ Hướng, Bùi Gia Tường, Ngọc Hiền, Phạm Văn Đức… đều là học trò của ông.

Ngoài chơi đàn và giảng dạy, ông còn sáng tác nhiều tác phẩm giao hưởng cho đàn cello và dàn nhạc.